3.4 随机梯度下降

• w是模型参数，b是batch size，n是学习率
• 首先随机化模型参数
• 迭代次数取决于epoch，每次迭代取b个样本更新模型参数
  • 回归：直接mse更新权重
  • 分类：每个样本的交叉熵损失函数求均值然后更新权重
    

References

3.4 随机梯度下降【斯坦福21秋季：实用机器学习中文版】_哔哩哔哩_bilibili